DMAD：分布匹配即对抗蒸馏，用于快速视觉生成
🧭 扩散模型对抗蒸馏加速生成
Texas A&M University · Intelligent Creation, ByteDance
把分布匹配蒸馏重构为对抗式分类，免去辅助 score 模型并实现 1.04 FID 一步生成
📌 工作参考价值（4 点）
- 工程上，若做商品图/视频/AIGC 的少步扩散蒸馏，可借鉴共享 backbone + 两个判别头的设计，避免维护不断更新的辅助 score 模型，降低显存和计算，简化训练管线。
- gap-based reweighting 根据真实样本与教师样本的判别 logit gap 动态调节蒸馏监督，这种自适应加权方式可迁移到推荐排序蒸馏、LLM 生成质量判别蒸馏等场景，替代固定权重。
- 对于生成式推荐中的 Semantic ID / 商品文案 / 营销物料生成，若希望用少步生成模型降低推理延迟，可尝试把分布匹配目标写成判别损失，并利用 real-teacher gap 调整监督；比单独训练交叉熵或 score 模型更省资源。
- 论文证明的 logit→log-density ratio 恒等式是通用理论：已有判别器或 LLM reward model 时，用线性 logit 损失就能近似分布梯度，可尝试接入 Agent 或多模态生成 Reward 模型做策略优化。
通过离散扩散实现 LLM 无损加速：扩散增强自回归模型
🧭 扩散增强 LLM 无损并行解码加速 ★ 深度解读
Institute of Foundation Models · University of Illinois Urbana-Champaign · Cornell Tech · Harvard University · Cerebras Systems
用 LoRA 扩散权重并行 draft + AR rejection 实现无损加速，8B Uno 在吞吐与质量上超过主流 d-LLM 与 speculative 方法
📌 工作参考价值（4 点）
- 可无损加速现有 LLM serving：为线上 AR 模型（如 Qwen/DeepSeek）添加 rank-128 LoRA diffusion adapter，训练只需几 B tokens（公开数据即可），不碰原始权重；与 EAGLE/DFlash 相比共享 KV cache 省显存，高并发 batch 下仍有 1.5× 以上吞吐，适合电商搜索/广告 agent 高并发调用。
- 借鉴 gated LoRA + block-causal attention 训练法：单次前向同时算 teacher/student logits，训练 context length 约 2×L，不随 block size 增大；L_TV loss 比 DCD 更直接地优化 speculative 接受长度，实际可优先选 α=0, β=1 或 L_TV 主导。
- 评估指标要区分 system throughput vs per-request throughput：batch=1 容易高估加速，业务中 agentic 多请求并发和 RL rollout 更应看重最大 batch 吞吐；可采用固定 1K input/8K output 的标准化吞吐测试。
- RL 训练加速：在 SFT 后冻结 diffusion adapter，RL 阶段只更新 AR 权重即可保留约 94% TPF，rollout 加速 40%；推荐/搜索模型若做大规模 RL 微调，可复用此方案缩短训练时间。
表征分布匹配实现一步视觉生成
🧭 生成模型训练与一步蒸馏
EPFL · Valeo.ai · Sorbonne Université
用修正的MMD、超大批次和平衡编码器组抗投机，将多步扩散模型蒸馏为一步生成器
📌 工作参考价值（4 点）
- 推荐生成式模型蒸馏：可借鉴 RDM 范式，用预训练的用户/物品编码器计算表征分布距离（如 MMD），替代传统扩散损失，将多步扩散推荐模型蒸馏为一步生成器，降低推理延迟。
- 抗投机评估：单一编码器的分布距离可能被“游戏”，推荐系统在做离线评估时，应采用多个独立预训练编码器的组合指标（如类似 SW_r14 的切片瓦瑟斯坦距离），确保生成质量真实提升。
- 超大批次训练：MMD 估计需要大 batch size（>2048）来稳定梯度，推荐场景中在使用分布匹配损失时，应设计足够大的负采样或跨 batch 缓存机制，否则训练效果会显著下降。
- 训练效率：iRDM 仅 90 H200 GPU 小时就能将四步 FLUX.2 蒸馏为一步模型，且指标超越原版，该高效蒸馏方案可推广至推荐系统的文本/图像生成模块，快速实现低成本部署。
跨空间蒸馏：用现代扩散教师训练单步学生模型
🧭 扩散模型蒸馏 · 跨空间对齐
Qualcomm AI Research · University of Wisconsin–Madison · Johns Hopkins University · Rutgers University
提出 Bridge 模块实现跨潜空间蒸馏，让高分辨率大教师模型蒸馏到不兼容的低分辨率学生模型
📌 工作参考价值（4 点）
- 若业务中需要将不同隐空间的大模型（如高维语义 ID 生成教师）蒸馏到低维学生，可借鉴 Bridge 的设计：冻结学生解码器作为空间先验 + 小型可学习投影器，避免改动学生主干。
- 训练稳定技巧：使用潜在重建损失与注意力保真度目标对齐教师空间，可复用到多模态 embedding 对齐场景（如视觉-文本语义空间映射）。
- 工程上，Bridge 模块参数少、推理时即插即用，适合在移动端或边缘部署场景中，用大模型离线蒸馏、小模型在线推理的架构。
- 这篇工作集中在图像生成，对电商搜索推荐系统的直接迁移价值有限；但其“跨空间知识迁移”的思路可启发异构推荐模型（如双塔 vs 多塔）之间的知识蒸馏设计。
DreamX-World 1.0：通用交互式世界模型
🧭 交互式世界模型 · 长时生成与相机控制
DreamX Team
一个支持相机导航、场景重访和可提示事件的通⽤交互式长时视频生成世界模型，通过蒸馏与自回归训练达到16 FPS
📌 工作参考价值（4 点）
- 自生成历史缓解偏移：用模型自身生成长序列进行训练，可借鉴到生成式推荐（如语义ID自回归生成）的长序列训练，减少曝光偏差与风格漂移。
- 记忆条件与几何检索：基于相机几何检索历史视图，实现场景持久化；可类比在会话推荐中按行为序列检索历史状态，保持长对话一致性。
- 蒸馏结合RL对齐：DMD风格蒸馏后使用RL恢复控制精度与视觉质量，对蒸馏后的生成式推荐模型可考虑类似强化微调来保持可控性。
- 工程优化技巧：混合精度、75%剪枝VAE解码、异步流水线并行等，可直接迁移至大规模生成式模型在线推理的加速。
AudioX-Turbo：统一高效的多模态任意转音频生成框架
🧭 多模态音频生成 · 扩散模型蒸馏
The Hong Kong University of Science and Technology · Tsinghua University · Noiz AI · Independent Researcher
通过蒸馏实现统一多模态任意转音频生成，仅4步采样即超越多步基线，速度提升约25倍
📌 工作参考价值（4 点）
- 少步蒸馏方案可迁移：所采用的分布匹配蒸馏（DMD）适配流匹配框架，通过判别器提升少步生成质量，这一思路可直接应用于推荐系统中扩散模型的加速（如物品嵌入生成、语义ID去噪），在保持质量的同时大幅降低推理成本。
- 多模态自适应融合模块值得参考：针对文本、视频、音频等多种条件信号设计的融合机制，可启发电商多模态推荐或Agent中多源输入的对齐与融合设计，提升条件控制的灵活性。
- 数据构建流程可复用：两阶段收集与标注的大规模数据集IF-caps-Pro（约920万样本）构建方法，为构建多模态训练数据提供了工程范式，尤其适用于需要对齐文本与其它模态的场景（如商品文案与图片/视频的配对数据）。
- 判别器在蒸馏中的应用：扩散模型蒸馏中引入扩散基判别器对抗训练，这一技巧可尝试用于生成式推荐中少步采样质量的保真，例如在序列推荐或对话式推荐中加速候选项生成。
通过教师对齐的端到端蒸馏实现高保真两步图像生成
🧭 图像生成 · 扩散模型蒸馏
Z-Image Team, Alibaba Group · The Chinese University of Hong Kong
用教师对齐对抗学习、分步解耦参数化和端到端迭代正则化，将8步扩散模型蒸馏至2步，显著缩小质量差距
📌 工作参考价值（4 点）
- 教师对齐对抗学习思路可迁移到推荐系统知识蒸馏：用教师模型输出作为 GAN 的“真实”样本，比外部数据更易拟合，可缓解模式坍塌，适用于召回 / 排序模型的轻量化训练。
- 分步解耦参数化可借鉴到多阶段 Agent 推理链：对不同步骤分配独立参数，针对性优化各阶段容量，适合多步推理、级联推荐等场景。
- 端到端迭代正则化让中间步骤接收最终质量梯度，同时保留中间监督，可用于多阶段推荐模型训练，使粗排 / 召回同时对齐最终精度且保持中间结果可用。
- 极限压缩（2 步）下的质量保持策略对实时推荐场景有启发：例如将重排序模型蒸馏为轻量两阶段模型时，可通过类似技巧压缩推理开销，维持效果。
Causal Forcing++：可扩展的少步自回归扩散蒸馏用于实时交互视频生成
🧭 视频生成 · 扩散蒸馏加速
Tsinghua University · ShengShu · Renmin University of China
通过因果一致性蒸馏高效初始化少步自回归学生模型，在帧级2步采样下性能超越4步块级SOTA，延迟减半
📌 工作参考价值（4 点）
- 自回归生成初始化策略：在生成式推荐（如序列化行为/内容生成）中，可将因果一致性蒸馏思想用于AR组件的初始化，用在线教师单步指导替代昂贵轨迹预计算，降低训练成本。
- 少步采样训练技巧：针对1-2步极端蒸馏场景，所提因果关系对齐损失可直接迁移到推荐流水线的扩散模型加速，如商品序列生成、用户行为预测。
- 分阶段扩展范式：先因果初始化再上下文扩展的流程，可复用于多轮对话Agent或多模态交互系统，平衡训练效率与长程一致性。
- 延迟与质量权衡：帧级细粒度控制首次响应延迟的实践，对电商直播、实时推荐等需要流式交互的场景有参考价值。